Skip to main content

Full text of "O impacto dos rankings nas avaliações de ensino"

See other formats


m 

i 1 1 1 

t n S 1 I I . I » 
4* (I1vt<l 

r Mi cdjír 






O Impacto dos rankings nas instituições de ensino 

Simon Schwartzman 
Instituto de Estudos do Trabalho e Sociedade 

O que são os rankings: questões preliminares 

A ideia de ordenar as instituições de ensino por níveis de qualidade, que em 
inglês se denomina "ranking", é hoje bastante difundida internacionalmente, e 
também tem sido adotada no Brasil desde a década de 90, tanto para a educação 
básica quanto para a educação superior. As avaliações da educação básica se 
iniciaram nos anos 90 com o Sistema Nacional de Avaliação Básica (SAEB], 
baseado no "National Assessment of Educational Progress" americano, com uma 
amostra dos alunos por Estado, hoje denominado "Avaliação Nacional da 
Educação Básica", para português e matemática, hoje acompanhado de uma 
avaliação escola por escola, a "Avaliação Nacional do Rendimento Escolar", 
também conhecida como "Prova Brasil". Os dados da Prova Brasil são 
combinados com os dados de aprovação/reprovação para gerar o "índice de 
Desenvolvimento da Educação Básica", o IDEB. O Ministério da Educação 
também realiza a "Provinha Brasil", para aferir a alfabetização das crianças na 
segunda série das escolas das redes públicas. Vários estados têm também suas 
avaliações próprias, como o SARESP, de São Paulo, e o SIMAVE, em Minas Gerais. 
Para o nível médio, existe o Exame Nacional do Ensino Médio, o ENEM, cujos 
resutados têm sido também utilizados para avaliar as instituições deste nível. O 
Brasil ainda participa de avaliações internacionais, como o PISA, da OECD, para 
estudantes de 15 anos de idade, e o SERCE, avaliação feita pela UNESCO para os 
países da América Latina. Para o nível superior, as avaliações se iniciaram nos 



• Trabalho apresentado no VIII Congresso Brasileiro de Gestão Educacional, São Paulo, 
Março de 2010. 



anos 90 através do Exame de Conclusão de Cursos, o "Provão", e se dá 
atualmente através dos instrumentos criados pelo INEP, o Exame Nacional de 
Desempenho dos Estudantes, o ENADE, e seus derivados, o "Conceito Preliminar 
de Cursos" e o "índice Geral de Cursos das Instituições". Internacionalmente, 
existem alguns rankings de universidades como o Times Higher Education 
Supplement, e o da Universidade Shanghai Jiaotong. 

Os detalhes sobre estas diversas avaliações, assim como os resultados obtidos, 
estão disponíveis no Site do Instituto Nacional de Estudos e Pesquisas 
Educacionais Anísio Teixeira na Internet 1 e das secretarias estaduais de 
educação, e os resultados do PISA, no Site da OECD. 

Nosso objetivo neste texto não é analisar em detalhe estas avaliações, mas ver 
como seu impacto é percebido pelos dirigentes das instituições que estão sendo 
avaliadas. Os dados são o resultado de duas pesquisas pela Internet realizadas no 
início de 2010, uma sobre o ensino superior público e privado, outra sobre o 
ensino básico público. Pesquisas deste tipo tradicionalmente obtêm poucas 
respostas, o que ocorreu também neste caso. Para o ensino superior, obtivemos 
78 respostas, em um total de cerca de mil solicitações enviadas. Outros 111 
abriram o questionário e preferiram não responder, e não é possível saber se os 
demais chegaram a receber os emails pedindo que colaborem com a pesquisa. 
Para o ensino básico, obtivemos 539 respostas, e 1.280 questionários abertos 
sem responder. Por isto, as respostas obtidas não podem ser entendidas como 
representando a visão dos dirigentes das instituições de ensino no país. No 
entanto, é possível pensar que os que responderam representam um grupo que 
tem especial interesse pelo tema, e as questões perguntadas, tanto quanto as 
respostas obtidas, são úteis pcomo um roteiro para discutir os diversos aspectos 
destas avaliações. 

É necessário, preliminarmente, distinguir o tema dos "rankings" do tema das 
avaliações, embora as duas questões estejam interligadas. Quem trabalha na área 
de educação convive diariamente com a avaliação de alunos, de professores nos 



1 http://www.inep.gov.br/ 



processos seletivos, de projetos de pesquisa pelas agências financiadoras, dos 
artigos e livros enviados para publicação por parte de editoras e revistas. Poucos 
discordariam hoje que os cursos e instituições devem ser avaliados, e que estas 
informações devem ser utilizadas tanto pelas próprias instituições, para 
melhorar continuamente seu trabalho, quanto pelas pessoas e instituições que 
com elas se relacionam - secretarias de educação, estudantes, empregadores, 
financiadores públicos e privados. As dúvidas são como avaliar, como difundir 
estes resultados, e como fazer uso destas avaliações. 

ordenamento, ou "ranking", consiste em tomar os resultados destas avaliações 
e colocá-los em uma escala numérica qualquer; e, além disto, tornar público este 
ordenamento. Existem alguns conceitos técnicos bastante simples que nem 
sempre são considerados nestes ordenamentos, mas que ajudam a entender 
algumas das questões envolvidas. 

"Rankings" ou "ratings"? 

Quando eu quantifico a renda ou a idade de uma pessoa, eu posso colocá-las em 
uma grande escala, do mais pobre ou mais jovem ao mais rico ou mais velho, a 
partir dos valores numéricos destas medidas. Eu posso dizer, por exemplo, que 
João é duas vezes mais rico do que Pedro, ou duas vezes mais idoso. Quando eu 
pergunto se a pessoa está muito satisfeita, satisfeita ou insatisfeita com o 
governo, eu não tenho como dizer se quem está muito satisfeito está duas ou três 
vezes mais satisfeita do que os que só se dizem satisfeitos. A questão é: as 
avaliações produzem informações de um ou de outro tipo? 



Posição das principais universidades b 


rasileiras no ranking to Times Higher 


Education 




2009 


2008 


2007 


2006 


Universidade de São Paulo 


207 


196 


175 


284 


Universidade de Campinas 


295 


249 


177 


448 


UFR1 


383 


334 


338 


416 


PUC- RJ 


401-500 


401-500 


475 


441 


UNIFESP 


401-500 


507 


478 


NA 


Fonte: http://www.topuniversities.com/world- 


university-rankings 





Quadro 1 

No ranking to Times Higher Education Supplement, por exemplo (Quadro 1], a 
Universidade de São Paulo parece vir caindo progressivamente de lugar, tendo 
perdido 20 pontos, enquanto que a Universidade de Campinas subiu mais de 120 



pontos no mesmo período. Será que isto indica realmente decadência de uma e 
progresso de outra, nesta proporção? Ou será que as medidas utilizadas nestas 
avaliações não permitem ordenamentos tão finos, nem comparações de um ano 
para outro? mais provável é que estas medidas só permitam avaliações muito 
gerais, em algumas poucas categorias, e que estes valores numéricos tão 
detalhados não passem de resultados de manipulações aritméticas de que não 
tenham como ser interpretados (ou seja, em linguagem mais técnica, que sejam 
"ratings" ordinais, e não rankings de intervalo]. Um outro exemplo do mau uso 
de rankings é o famoso índice de Desenvolvimento Humano do PNUD, que 
ordena os países do mundo em uma escala contínua, e cujas oscilações anuais 
provocam sempre grandes matérias nos jornais. Será que estas pequenas 
oscilações anuais correspondem a mudanças reais, ou não seria mais razoável 
agrupar os países em um número menor de categorias, que possam ser mais 
inteligíveis? 

A prática do INEP, de tomar os resultados das diversas avaliações e depois 
reduzi-las a um conjunto de 5 categorias é um reconhecimento da precariedade 
destes grandes ordenamentos. Isto reduz muito os erros, embora não supere o 
fato de que as categorias produzidas derivem de testes e medidas estatísticas 
cuja validade, precisão e comparabilidade possam ser questionados. 

Avaliações referidas a padrões ou a distribuições de resultados. 

A distinção, aqui, é se a avaliação inclui um critério sobre o que é considerado 
satisfatório ou adequado ou se, simplesmente, os resultados são ordenados em 
relação à distribuição da população. Muitas vezes se confundem as duas coisas; 
mas, se um curso de medicina tem um conceito "C", ou 3 em uma escala de 5 
pontos, isto significa que eu posso confiar nos médicos formados por este curso, 
ou é melhor evitá-los? Todas as avaliações do ensino superior feitas pelo MEC 
são do segundo tipo, e não existem padrões claros que sirvam de referencia para 
os resultados obtidos. Se eu confiar na avaliação, eu posso acreditar que o curso 
A é melhor do que o curso B, mas não tenho como saber se seus formados têm as 
qualificações mínimas necessárias para sua profissão. 



Avaliações uni e pluri-dimensionais 

Será que as avaliações estão comparando laranjas com laranjas, ou laranjas com 
jabuticabas? Faz sentido comparar a UFMG com uma faculdade isolada de uma 
pequena cidade, ou o curso de Direito da USP com o de uma faculdade privada 
noturna? Não só as instituições são distintas, mas mesmo cursos com iguais 
denominações podem ter públicos, objetivos e orientações totalmente distintas. 
Um dos critérios centrais de qualidade de uma universidade é a produção 
científica de seus professores, mas este critério não pode ser aplicado a uma 
instituição dedicada somente ao ensino. Na área do Direito, no Brasil, 59 mil 
formados se apresentaram ao primeiro Exame de Ordem da OAB em 2009, e 
somente 22,3% dos candidatos foram aprovados. Se aceitarmos que o Exame de 
Ordem da OAB define o critério mínimo de qualidade de um formado, isto 
significa que 80% dos formados não deveriam receber diplomas, e que as 
faculdades que não conseguem que seus estudantes passem no exame (como a 
Universidade Paulista de São Paulo, que só conseguiu aprovação para 10.5% dos 
1500 formados que se apresentaram ao Exame da Ordem] deveriam ser 
fechadas? Ou será que, apesar de nominalmente serem custos de direito, elas 
estão dando uma formação de tipo mais geral, mas de qualquer forma útil para 
seus estudantes? Esta questão é particularmente difícil de discutir no Brasil, 
aonde todos os diplomas com a mesma denominação têm o mesmo valor legal, e 
isto acaba reforçando a tendência a avaliar a todos pelos mesmos critérios, 
levando à desvalorização e desqualificação de muitos que poderiam estar 
fazendo um trabalho educativo importante, mas de outra natureza. 

As avaliações da educação superior 

Das 78 pessoas que responderam ao questionários do ensino superior, 25% 
eram de instituições públicas, e as restantes de instituições privadas lucrativas 
ou não. 40% eram de São Paulo, 15% do Rio de Janeiro, e as demais de outros 
estados ; e 41% eram de universidades (Quadro 2). Quase todas as instituições 
foram avaliadas de diversas maneiras, com o predomínio do ENADE, sendo que o 
setor privado registrou mais avaliações de outros tipos, como as visitas de 
avaliadores externos. 



Características dos 


respondentes 


Privado Público 


% De universidades 


27% 85% 


% Reitor ou diretor 


39% 20% 


% de São Paulo 


41% 40% 


Total de respondentes 


20 58 



Quadro 2 



Avaliações recentes (% de instituições 


ava 


iadas) 




Setor Público 


Setor 


Privado 


Total 


E1MADE 91.1% 






84.2% 


89.5% 


Conceito Preliminar de Curso 64.3% 






26.3% 


53.9% 


índice Geral de Cursos da Instituição 71.4% 






36.8% 


61.8% 


Comissão de Avaliação Externa do MEC 64.3% 






26.3% 


53.9% 



Quadro 3 



Posição nas aval 


iações 




Setor Privado 


Setor Público 


Total 


25% melhores 32% 


73% 


42% 


metade superior 51% 


27% 


45% 


metade inferior 17% 




13% 



Quadro 4 
Pelas respostas ao questionário, a maioria das instituições está entre as 50% 
melhores, e a situação do setor público é bem melhor do que a do setor privado. 
Comparando com os dados do índice Geral de Cursos das instituições divulgado 
pelo INEP para 2008 (Quadro 5] o que se vê é que os que responderam no setor 
privado tendem a estar em instituições mais bem avaliadas, que são uma minoria 
no setor; ou seja, o questionário não conseguiu captar as respostas da grande 
maioria das instituições que não foram bem avaliadas. 



Resultad 


os índice 


Geral de 


Cursos 2008, por 


setor 


conceitos: 


Estadual 


Federal 


Municipal 


Privada 


Total 


2 


20% 


5% 


33% 


27% 


26% 


3 


44% 


40% 


45% 


38% 


38% 


4 


22% 


39% 


2% 


3% 


5% 


5 




9% 


2% 


1% 


1% 


Sem conceito 


14% 


16% 


20% 


32% 


30% 



Quadro 5. Fonte: INEP 
Avaliações, tanto quanto as estatísticas produzidas por um órgão como o IBGE 
precisam ser inteligíveis, tecnicamente bem feitas, e legítimas, isto é, as pessoas 
devem acreditar na seriedade e independência de quem faz a avaliação. Elas 
precisam, também, chegar de forma inteligível aos diferentes setores aos quais 



elas se destinam. A maioria dos que responderam ao questionário consideram as 
informações chegam para eles de forma inteligível, mas não acreditam que elas 
sejam muito entendidas fora do círculo restrito de dirigentes institucionais e 
professores (Quadro 6]. 



% que crê que a informação chega e 
interpretada corretamente 


é 


Privado 


Publico 


Total 


Dirigentes 87% 


63% 


81% 


Assessores 83% 


61% 


78% 


Responsáveis por cursos 89% 


78% 


86% 


Professores 58% 


47% 


55% 


Fam iiares 19% 


17% 


18% 


Estudantes 37% 


33% 


36% 


Público 19% 


6% 


16% 



Quadro 6 

Curiosamente, os respondentes do setor público, melhor avaliado, são mais 
céticos em relação ao entendimento das avaliações do que o setor privado. Como 
estes índices são construídos a partir de procedimentos estatísticos nem sempre 
bem divulgados ou explicados, provável que o nível de entendimento seja bem 
menor do que aparece nas respostas, e podemos estar diante de uma situação em 
que professores não se sentem confortáveis em admitir que não entendem algo 
que lhes diz respeito. De toda forma, chama a atenção o fato de que este 
entendimento fica restrito ao universo dos dirigentes das instituições chegando 
pouco aos professores e muito menos anda aos estudantes, seus familiares e ao 
público em geral, que seriam os beneficiários destas avaliações, que no entanto 
pouco entendem, ou interpretam mal, na visão de nossos respondentes. 

Quando perguntados sobre em que medida é possível entender com clareza o 
que as medidas de avaliação significam, somente a metade diz que entende 
claramente, e o desentendimento é particularmente alto para os índices 
derivados do ENADE (Quadro 7). 



% que entende claramente 


os diferentes tipos de ave 


iliação 




Setor 


privado 


Setor público 


Total 


ENADE 




63% 


59% 


62% 


Conceito Preliminar de 
curso 




35% 


50% 


38% 


índice geral de cursos 
das instituições 




34% 


46% 


36% 


Avaliações de Comissões 
externas 




51% 


71% 


55% 


Avaliações da CAPES 




39% 


63% 


44% 



Quadro 7 



Vindo de dirigentes universitários, este baixo entendimento é uma indicação 
preocupante de problemas tanto quanto à maneira pela qual estes indicadores 
são construídos quanto ao processo de validação e legitimação pelo qual eles 
passam ou deixam de passar. 

Destes, o ENADE, na parte de conhecimentos específicos, é o que mais se 
aproxima das provas de conhecimento a que os professores estão acostumados, 
e sua elaboração é feita com a participação de especialistas das diferentes áreas. 
Mas esta é, somente, uma parte do ENADE. A outra, a chamada "prova de 
formação geral", consiste em uma série de perguntas que deveriam medir uma 
grande quantidade de coisas distintas, cuja validade é bastante questionável, 
dado o número limitado de questões e a falta de um processo claro de validação. 
Mais obscuro do que isto, no entanto, é maneira pela qual os resultados das 
provas, aplicados tanto a alunos ingressantes quanto concluintes dos cursos 
superiores, são combinados. Sem entrar em muitos detalhes, já discutidos em 
outro texto, basta mencionar que, ao invés de estimar a diferença entre o 
desempenho dos alunos concluintes e os alunos entrantes, para medir o que o 
curso adiciona aos conhecimentos que os alunos já trazem, o ENADE soma estes 
resultados, aumentando desta forma o conceito dos cursos que recebem alunos 
mais bem formados, mesmo que não acrescente muito ao que eles já sabiam 
antes. A maneira pela qual os resultados das provas são depois padronizados e 
somados, com diferentes pesos, descrita em termos estatísticos em notas 



técnicas divulgadas pelo INEP, de difícil compreensão, é bastante arbitrária, 
tornando realmente difícil interpretar com clareza o resultado final obtido. 

O Conceito Preliminar de Curso é uma derivação estatística do ENADE, mais 
alguns dados sobre a qualificação do corpo docente, infra-estrutura e 
organização docente dos cursos. A novidade interessante do CPC é o cálculo do 
IDD, "Indicador da Diferença entre os Desempenhos Esperado e Observado", que, 
corretamente, faz o contrário do ENADE, ou seja, trabalha com as diferenças, e 
não a soma dos desempenhos dos alunos entrantes e concluintes. Os outros 
indicadores são introduzidos na medida em que contribuem estatisticamente 
para a produção do resultado do IDD. É um procedimento estatístico 
interessante, mas os resultados que produz são aproximações sujeitas a erros e 
diferenças nos pressupostos adotados que não deveriam permitir que estes 
resultados se tornassem oficiais, como medidas governamentais de qualidade 
dos cursos, e divulgados como tais pela imprensa. 

índice Geral de Cursos combina os resultados das diferentes avaliações do CPC, 
mais as dos cursos de pós-graduação da CAPES, para a produção de uma medida 
geral de qualidade da instituição como um todo. Os procedimentos estatísticos 
para o cálculo do índice estão descritos em uma nota técnica do INEP que revela 
a arbitrariedade dos critérios. Por exemplo, diz a nota técnica, "um aluno de 
mestrado de um programa de pós-graduação nota 3 é equivalente a um aluno de 
graduação; um aluno de mestrado de um programa nota 4 equivale a dois alunos 
de graduação: e por fim, um aluno de mestrado de um programa nota 5 é 
equivalente a 3 alunos de graduação" 2 . Para o doutorado, se o programa tive 
nota 7 na CAPES, a cada aluno corresponderão 7 de graduação, etc. Isto pode 
fazer sentido, mas não se encontra nenhuma justificativa clara estas 
equivalências, nem uma análise independente do resultado desta numerologia 
(ou seja, não há nem uma validação prévia, nem uma avaliação posterior]. 

As avaliações dos programas de pós-graduação da CAPES são as mais antigas e 
geralmente têm boa reputação entre os cientistas, sobretudo pela utilização 



2 INEP, nota técnica sobre o índice Geral de Cursos, disponíveis no Site do INEP na 
Internet. 



regular de processos de avaliação por pares. No entanto, ela se baseia fortemente 
em informações estatísticas sobre publicações científicas dos professores 
pesquisadores em revistas ponderadas segundo um sistema de ranking das 
revistas por importância (o sistema Qualis]. Este procedimento é considerado 
adequado para as áreas de ciências exatas e biológicas, mas gera problemas 
conhecidos quando utilizados para avaliar áreas mais aplicadas, 
interdisciplinares e das ciências sociais. 

Feitas as avaliações, a maioria acha que os resultados refletiram bem a situação 
de seus cursos ou instituições, mas quase um quarto dos entrevistados no setor 
privado acham que o resultado foi injusto (Quadro 8). Dos que se consideraram 
injustiçados, metade apelou dos resultados, mas somente um dos respondentes 
disse que a avaliação foi corrigida para melhor. Nos demais casos não houve 
resposta, ou não houve alteração. 



O resultado da avaliação recente correspondeu 
situação real de seu curso ou instituição? 


à 


Setor privado Setor público 


total 


Foi melhor do que é 4% 6% 


4% 


Correspondeu ao que é 73% 82% 


75% 


Foi iniusto. ficou Dior 23% 12% 


21% 



Quadro 8 
De maneira geral, todos os entrevistados consideram que o impacto das 
avaliações é positivo, sobretudo no setor público, e sobretudo para o prestígio de 
suas instituições e entre os professores (Quadro 9]. Claro que esta opinião está 
associada à percepção quanto à justeza ou não do resultado: 77% dos que 
consideram ter sido mal avaliados dizem que o impacto da avaliação foi negativo 
ou muito negativo. É interessante observar que, enquanto os resultados positivos 
têm mais impacto sobre as instituições, o impacto negativo maior é sobre as 
famílias dos alunos, que formam o mercado de estudantes para o ensino superior 
privado Quadro 10]. Para as instituições mal avaliadas, o impacto pode ser 
realmente muito significativo. 



10 



% que consideram o impacto das ava 

positivo 


Mações positivo ou muito 


Prestígio da entre 
instituição professores 


entre famílias dos 
alunos alunos 




setor privado 67% 68% 


67% 63% 


setor público 95% 89% 


88% 75% 


Total 74% 73% 


72% 66% 



Quadro 9 



% que consideram que o impacto da avaliação foi negativo 
Avaliação correta avaliação injusta 



Para a instituição 
Entre os professores 
Entre os alunos 
Entre os familares 
dos alunos 



15% r 
15% r 
15% r 



20% 



77% 
85% 
85% 

100% 



Quadro 10 

De uma maneira geral, os respondentes acreditam que as avaliações ajudam os 
cursos a melhorar, a qualidade, mas estão divididos quanto ao possível uso 
destes instrumentos por parte do Ministério da Educação, e são bastante céticos, 
sobretudo no setor privado, quanto ao benefício que as avaliações trazem para 
os estudantes (Quadro 11). Se isto é assim, é um resultado paradoxal, sugerindo 
que, quando o resultado da avaliação é bom, a instituição e os professores se 
beneficiam em termos de prestígio, mas não têm como utilizar estes resultados 
em benefício de seus alunos. 



% que considera que as avaliações têm efeitos positivos: 




setor privado 


setor público 


total 


Ajuda a instituição ou curso a melhorar sua 
qualidade 


70% 




79% 


72% 


Permite que os estudantes e suas famílias possam 
escolher melhor suas escolas, facudades e cursos 


50% 




56% 


51% 


Permite ao Ministério da Educação melhorar a 
qualidade da eduação no país 


38% 




47% 


40% 


Ajuda os professores a melhorar seus cursos 


54% 




56% 


54% 


Ajuda os estudantes a aprender mais 


20% 




32% 


23% 



Quadro 11 



11 



Conclusões sobre as avaliações do ensino superior 

Tanto para o setor público quanto para o setor privado, existe hoje um consenso 
de que as avaliações representam um avanço importante para a educação 
superior do pais, com as características mais gerais que elas têm hoje: fazendo 
uso de dados quantitativos, feitas externamente, e com os resultados tornados 
públicos. Há uma clara consciência de que os resultados devem ser públicos, e 
que é o Ministério da Educação, e não um órgão ou agenda independente, que 
deve ter a responsabilidade das avaliações, embora exista proporção importante 
de respondentes do setor privado a favor de um órgão independente de 
avaliação, não governamental (Quadro 12). 



Opiniões sobre diversos aspectos das avaliações 


(% 


que concordam) 






setor privado 


setor público 


Apesar dos defeitos, estas avaliações representam um 
passo importante para a melhoria da qualidade da 
educação no país 






75% 




85% 


Avalições quantitativas não medem o que é importante 
na educação, e deveriam ser abolidas 






29% 




10% 


Avaliações externas deveriam ser eliminadas, e 
substituídas por avaliações internas 






23% 




0% 


Os resultados das avaliações não deveriam ser tornados 

públicos 






22% 




5% 


As avaliações externas representam uma intervenção 
indevida na vida das instituições 






15% 




0% 


As avaliações deveriam ser feitas por um órgão 
independente, e não pelo Ministério da Educação 






38% 




10% 



Quadro 12 

Trata-se de um avanço importante em relação à época em que as avaliações 
começaram a ser introduzidas nos anos 90, e eram fortemente resistidas 
justamente com os argumentos que hoje já têm pouca aceitação - a critica às 
medidas quantitativas, às avaliações externas, e à publicação dos resultados. 

Mas os dados desta pesquisa confirmam que há ainda um caminho importante a 
percorrer. É natural que, em um processo de avaliação, as pessoas e instituições 
que saem bem tenham melhor opinião sobre o processo avaliativo do que as que 
saem mal. De uma maneira geral, as instituições públicas no Brasil são melhor 
avaliadas do que as privadas, e isto pode estar refletindo tanto uma realidade 
quanto o fato de que os instrumentos de avaliação utilizados hoje tendem a 



12 



valorizar mais algumas das características das instituições públicas, como a 
dedicação de tempo e titulação dos professores, a existência de programas de 
pós-graduação e o fato de selecionarem alunos de melhor formação no ensino 
médio, o que ajuda nos resultados que obtêm no ENADE. Elas também são 
favorecidas pelo fato de que as avaliações são unidimensionais, e não existe lugar 
para valorizar as diferenças de público e de objetivos pedagógicos que possam 
existir entre as diversas instituições. 

Muito provavelmente, estes dois fatores coexistem. Como as instituições públicas 
têm maiores orçamentos, mais tradição e maior prestígio, tendem a atrair 
melhores talentos, tanto professores quanto alunos, e isto se traduz em 
qualidade. Por outra parte, elas não se sairiam tão bem se as avaliações 
incluíssem dados sobre eficiência no uso de recursos públicos, impacto 
económico e social das pesquisas, empregabilidade dos formandos, taxas de 
evasão, e, sobretudo, se fossem avaliadas conforme padrões claros de referencia, 
e não, simplesmente, pela posição na curva de distribuição dos conceitos. 

Os dados desta pequena pesquisa não nos permitem avançar nestas questões. 
No entanto,uma coisa que sugerem e que causa de preocupação é o pouco que os 
resultados chegam ao público mais amplo, os destinatários finais do processo 
educativo, sejam os estudantes, seja o mercado de trabalho para aonde eles se 
dirigirão mais depois de formado, ou ande já estão enquanto estudam. Com 
todos os avanços já havidos, os sistemas de avaliação do ensino superior 
brasileiro são ainda um processo que ocorre sobretudo no setor público, chega 
com maior dificuldade e resistência no setor privado, que hoje responde por 
quase 80% das matrículas no pais, e ainda não se constituem em um 
instrumento efetivo de melhoria da qualidade da educação em todos os níveis, 
que possa efetivamente ajudar as instituições, tanto públicas quanto privadas, a 
fazer o melhor uso possível dos recursos que recebem da sociedade, na forma de 
taxas de matrícula ou verbas públicas, e do crédito de confiança de que ainda 
gozam. 



13 



As avaliações da educação básica 

Brasil tem participado, desde nos anos 90, de avaliações internacionais que 
comparam o desempenho de seus estudantes com outros de outros países, e os 
resultados não só são ruins, mas mostram pouco progresso. Assim, no estudo 
comparado da OECD, o PISA, para jovens de 15 anos ao final do ensino 
fundamental, a posição brasileira nas provas de linguagem se manteve inalterada 
ao longo da última década. 

Resultados comparados do PISA em Linguagem, 2000-2006 



Scor* 

600 



SM 



i"'< 



1 : ! * I 



^ 



IM M li MI i* , 

mi j; li - 

i 

í 



d c o J f. 



* f | ! 1 I i ! I 1 1 | 1 I i ! f f 1 1 I i í i 1 1 | 



Quadro 13 

Estes dados são confirmados pelos da Prova Brasil, quando comparados com os 
padrões que se considerariam como mínimos aceitáveis para a educação básica 
em seus diversos níveis. 



Resultados das escolas brasileiras na 


Prova Brasil em Português, 2007 


Federal 


Média 
Estadual Municipal Total esperada 


4a série/4 ano 215 


173 170 171 200 


8a série/9 ano 290 


228 225 227 300 


Fonte: INEP 








Média esoerada (meta}: Todos Dela Educação 









Quadro 14 
Na pesquisa sobre as avaliações a educação básica, das 539 respostas obtidas, 23 
eram de pessoas que só atuavam na educação pré-escolar, e por isto foram 
eliminadas desta análise. Das restantes, 306 trabalhavam em escolas estaduais, 



14 



181 em escolas municipais, 21 em secretarias de educação, e os demais em 
escolas federais (3], privadas (3] e em outros tipos de situação. 70% eram 
diretores de escola, 12.5% coordenadores de curso, e os demais em outras 
posições, sendo a maioria dos estados de São Paulo, Rio de Janeiro e Minas 
Gerais. 



Participantes da educação fundamental 




Estadual Municipal Secretaria 


Total 


Bahia 


13 17 1 


31 


Minas Gerais 


47 25 4 


76 


Pernambuco 


20 10 1 


31 


Rio de Janeiro 


45 32 1 


78 


Rio Grande do Sul 

São Paulo 


42 23 2 


67 


70 31 6 


107 


Outros estados 


69 43 6 


118 


total 


306 181 21 


508 



Quadro 15 



% de escolas que participaram de 
avaliações 




Prova Brasil 




77% 


avaliações estaduais 


57% 


IDEB 


56% 


Provinha Brasil 


52% 


ENEM 


34% 


outras 




5% 



Quadro 16 
De uma maneira geral, os que responderam ao questionário dizem que suas 
escolas ficaram entre as 25% ou 50% melhores nas avaliações, poucas se 
colocando em situação abaixo da média, tanto nas redes estaduais quanto 
municipais (Quadro 17]. A maioria dos respondentes diz que entende 
claramente as diversas avaliações, mas não é uma proporção alta - 63%, 
considerando que quase todos são dirigentes de escolas, e deveriam entender 
perfeitamente do que se trata (Quadro 18]. 



Posição declaradas das escolas nas aval 


iações 




Estaduais 


municipais 


Entre os 25 superiores 


37% 




34% 


entre os 50% superiores 


48% 




45% 


entre os 50% inferiores 


12% 




13% 


entre os 25% inferiores 


4% 




8% 




100% 




100% 



15 



Quadro 17 



Entendimento das 


provas do 


ensino fundamental (%) 


IDEB 


Prova Brasil 


Provi 


nha 


Sistema 
ENEM Estadual 


se entende claramente 57 




56 




58 


67 63 


mais ou menos 38 




39 




35 


30 32 


não se entende 6 




5 




6 


3 5 


100 




100 




100 


100 100 



Quadro 18 
Em relação às provas estaduais, parece haver um problema especial de 
compreensão na Bahia, com 27% dos dirigentes dizendo que não entendem as 
avaliações, como também no Rio Grande do Sul, com 45% dizendo que não 
entendem ou não entendem claramente (Quadro 19). 



Entendimento dos sistemas estad 


uais de avali 


íação 




se entende 
claramente 


mais ou 
menos 


não se 
entende 


Total 


Bahia 55% 




18% 




27% 


100% 


Minas Gerais 63% 




30% 




7% 


100% 


Pernambuco 67% 




33% 






100% 


Rio de Janeiro 64% 




32% 




5% 


100% 


Rio Grande do Sul 54% 




41% 




5% 


100% 


São Paulo 69% 




27% 




4% 


100% 


Outros estados 60% 




40% 






100% 


Total 63% 




32% 




5% 


100% 



Quadro 19 

Tal como ocorre com o ensino superior, os dirigentes das escolas de educação 
básica consideram que os resultados das avaliações chegam bem para as pessoas 
diretamente envolvidas com a educação - dirigentes, assessoria superior, e em 
menor lugar os responsáveis pelos cursos e os professores - mas chegam mal aos 
alunos, seus familiares e ao público em geral, e não existem diferenças, quanto a 
isto, entre escolas municipais ou estaduais (Quadro 20). Existem diferenças 
importantes, no entanto, por estado ou região. 

Neste item, como nos demais, os respondentes de Pernambuco têm uma visão 
muito mais positiva das avaliações e seus efeitos dos que de outros estados 
(Quadro 21). Como a amostra de respondentes não é representativa, não é 
possível saber se estas diferenças representam ou não as percepções dominantes 
nos estados. que sim podemos afirmar é que, em Pernambuco, existe um grupo 



16 



de dirigentes escolares que apoia fortemente e acredita nos resultados e nos 
impactos positivos das avaliações, enquanto que no Rio de Janeiro existe um 
grupo que desconfia destes resultados e não considera benéfico sua divulgação. 



% que considera que a informação chega 
bem, por setor 





Estaduais 


Municipais 


Dirigentes 


79% 


80% 


Assessoria superior de 
direção 


80% 


74% 


Responsáveis pelos 

cursos 


71% 


79% 


Professores 


65% 


69% 


Alunos 


44% 


45% 


Familiares dos alunos 


41% 


43% 


Público em geral 


30% 


36% 



Quadro 20 





% que considera que a info 


rmação 


chega bem, 


por reg 


ão 








Bahia 


Minas Gerais 


Pernambuco 


Rio de 

Janeiro 


Rio Grande 

do Sul 


São Paulo 


Outros 


Dirigentes 


71% 


81% 




87% 


75% 




66% 


87% 


81% 


Assessoria superior 


30% 


8S% 




R3% 


68% 




69% 


80% 


81% 


Responsáveis pelos cursos 


75% 


79% 




74% 


74% 




72% 


75% 


74% 


Professores 


6&% 


67% 




77% 


67% 




59% 


63% 


71% 


Alunos 


35% 


47% 




54% 


44% 




47% 


39% 


46% 


Familiares 


36% 


45% 




54% 


41% 




42% 


35% 


42% 


Público em aeral 


29% 


32% 




41% 


32% 




30% 


29% 


36% 



Quadro 21 
A grande maioria dos respondentes acredita que os resultados das avaliações 
expressam de forma adequada a realidade de suas escolas, mas no Rio de Janeiro, 
particularmente, um número importante de respondentes - 30% - consideram 
que a classificação não foi correta (Quadro 22] 



De que maneira o resultado corresponde à situação real da instituição? 





Bahia 


Minas 
Gerais 


Pernambuco 


Rio de 

Janeiro 


Rio Grande do 
Sul 


Sao Paulo 


Outros 


Total 


Ficou melhor do qje é 






10% 


10% 


12% 




7% 


4% 


14% 


9% 


Ficou correto 


96% 




85% 


07% 


70% 




88% 


03% 


79% 


02% 


Ficou pior do que é 


4% 




6% 


3% 


18% 




5% 


13% 


7% 


9% 


Total 


100% 




100% 


100% 


100% 




100% 


100% 


100% 


100% 



Quadro 22 

Em relação ao impacto da divulgação dos resultados, existem também diferenças 
importantes, com 28% das respostas no Rio de Janeiro considerando que ela foi 
danosa ao prestígio da instituição, comparado com somente 13% em 
Pernambuco. 



17 



% que 


considera 


que o impacto 


da 


divulgação 


dos resultados foi negativo ou muito 


negativo 






Bahia Minas 


Gerais Pernambuco 


Rio de 
Janeiro 


Rio Grande 
do Sul 


São Paulo 


Outros 


Total 


No prestígio da 

instituição 


F 
28% 




w 
18% 




13% 


28% 


17% 


24% 


14% 


20% 


Entre os professores 


31% 




19% r 




6% 


29% 


35% 


25% 


21% 


24% 


Entre os alunos 


20% 




15% r 




13% 


25% 


27% 


2.1% 


17% 


21% 


Entre as famílias dos 
alunos 


26% 




r 
12% 




16% 


20% 


15% 


22% 


14% 


17% 



Quadro 23 
Em relação às funções que as avaliações conseguem desempenhar, novamente o 
grupo de Pernambuco difere fortemente dos demais. Em sua maioria, os 
respondentes acham que as avaliações ajudam as escolas a melhorar a qualidade, 
estão divididos quanto à sua utilidade para os professores, e não acreditam, na 
sua maioria, que elas ajudem os estudantes a aprender mais. Estes resultados 
levantam parecem sugerir a existência de uma separação forte entre o que 
acontece nas escolas, e delas em relação com as respectivas secretarias, e o que 
acontece com os estudantes e suas famílias (Quadro 24] 



Funçõ 


es que 


as avaliações 


conseguem cum 


arir bem 










Bahia 


Minas 
Gerais 


Pernambuco 


Rio de 
Janeiro 


Rio Grande 
do Sul 


São Paulo 


Outros 


Total 


Ajuda a instituição ou curso a 

melhorar a qualidade 


67% 


75% 




94% 


60% 


56% 


62% 


68% 


67% 


Permite que os estudantes e suas 
famílias possam escolher melhor suas 
escolas 


47% 


30% 




84% 


42% 


28% 


29% 


48% 


40% 


Permite ao Miinstério da Educação 
melhorara qualidade da educação no 
país 


59% 


52% 




97% 


56% 


54% 


49% 


66% 


59% 


Permite às Secretarias de Educação 
melhorar a qualidade de suas escolas 


53% 


64% 




90% 


61% 


50% 


57% 


62% 


61% 


Ajuda os professores a melhorar seus 

cursos 


63% 


59% 




84% 


64% 


44% 


52% 


64% 


59% 


Ajuda os estudantes a aprender mais 


44% 


41% 




84% 


44% 


36% 


42% 


51% 


46% 



Quadro 24 
Em conclusão, é possível ver que, para a maioria dos respondentes, as avaliações 
são um passo importante para a melhora da educação no Brasil, e estão de 
acordo com a maneira pelas quais elas são feitas - de forma externa, fazendo uso 
de métodos quantitativos, divulgando os resultados. Eles também não vêm 
problemas no fato de que elas sejam feitas por instituições de governo, e não de 
forma independente (Quadro 25]. No entanto, os dados sugerem que existem 
resistências e questionamentos importantes das avaliações, em uns estados mais 



18 



do que outros, o que pode estar indicando a existência de problemas específicos 
no relacionamento de determinadas secretarias de educação com suas escolas. E, 
da mesma forma que em relação à educação superior, no entanto, as avaliações 
da educação básica, para os respondentes, ainda não se transformaram em 
instrumentos efetivos para a melhora do trabalho dos professores e a melhoria 
da educação dos alunos. 



Opiniões sobre diversos aspectos das avaliações [°/a que concordam) 



Minas Rio de Rio Grande 

Bahia Gerais Pernambuco Janeiro do Sul São Paulo Outros Total 



Apesar dos defeitos, estas avaliações representam um 

passo importante para a melhoria da qjalidade da 



educação no país 


75% 


80% 


100% 


78% 


66% 


81% 


82% 


79% 


Avaliçces quantitativas não medem o que é importante 
na educação, e deveriam ser abolidas 


28% 


37% 


41% 


25% 


29% 

37% 


38% 
13% 


38% 
26% 


34% 


Avaliações externas deveriam ser eliminadas, e 

substituídas por avaliações internas 


25% 


28% 


34% 


19% 


24% 


Os resultados das avaliações não deveriam ser 
torrados públicos 


19% 

19% 


20% 


29% 


13% 


11% 
16% 


13% 


20% 


17% 


As avaliações externas representam uma intervenção 
indevida na vida das instituições 


16% 


13% 


13% 


9% 


20% 


15% 


As avaliações deveriam ser feitas por um órgão 
independente, e não pelo Ministério da Educação 


34% 


23% 


25% 


19% 


27% 


26% 


34% 


27% 



Quadro 25 



19